AI Papers Daily

#adaptive policy

2 篇

FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference

频率引导深度共享KV缓存压缩

🧭 长上下文LLM推理 · KV缓存压缩

Instituto de Investigación en Visión Artificial

推理时不需重训，通过频率分解与自适应模式分配压缩KV缓存，在长上下文任务中精度接近全缓存且实现3.9倍压缩

📌 工作参考价值（4 点）

• 对于利用长用户历史序列的推荐系统，可直接应用该技术压缩KV缓存，显著降低在线推理的显存和延迟
• 自适应分配压缩模式（共享深度/残差/精确）的思路可迁移到多任务推荐中的特征缓存管理，动态调整不同任务对历史状态的依赖
• 无需额外训练，适合快速集成到现有推理引擎，降低长上下文LLM在搜索、广告等场景的部署成本
• 低频分量共享策略可启发跨层特征融合设计，通过频域分解减少冗余缓存，提升工程效率

LLM | 2026-07-07 | cs.AI | score 7/10

KV cache compressionlong-context inferencedepth sharingfrequency decompositionadaptive policyinference-time adaptation

BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding

BlockPilot：基于扩散推测解码的实例自适应块大小策略学习

🧭 推测解码 · 实例自适应块大小

AMAP, Alibaba Group

提出从预填充表示学习预测最优块大小的策略，突破固定块限制，提升扩散推测解码效率

📌 工作参考价值（4 点）

• 在大模型在线推理（如对话式推荐、搜索 Agent）中，可集成该自适应策略，根据 prompt 的预填充特征动态选择最优块大小，无痛提升加速比，且预测开销极小。
• 方法即插即用，无需修改原扩散推测解码框架，适合在已有推理管道中快速部署，降低工程改动成本。
• 揭示了最优块大小的局部结构——集中在训练块尺寸附近，可据此设定搜索范围或剪枝预测类别数，简化策略学习。
• 对于需要低延迟响应的业务场景（如实时广告文案生成、个性化推送），该技术能有效减少端到端延迟，提升用户体验。

LLM | 2026-06-29 | HF Daily | score 6/10

speculative decodingdiffusion modelblock sizeadaptive policyinference accelerationdLLM